|
技术特征：1.一种算子级别的并行度的设置方法，应用于电子设备上，所述方法包括：向客户端发送第一flink sql任务；其中，所述第一flink sql任务包括编写的sql脚本；接收所述客户端发送的包括执行计划和并行度参考值的目标执行计划，所述目标执行计划为json格式；所述并行度参考值为所述执行计划中的节点的并行度参考值；所述执行计划通过解析所述第一flink sql任务生成；所述执行计划中的节点的并行度参考值为根据解析所述第一flink sql任务得到的脚本信息确定；所述脚本信息包括脚本类型、源端的分区大小、算子数据流量、及源端的文件大小中的至少二项；所述脚本类型包括流处理脚本和批处理脚本中的至少一项；通过解析json格式的所述目标执行计划提供第一数据流图以供操作，其中，所述第一数据流图包括可编辑的并行度和节点的并行度参考值；向所述客户端发送第二flink sql任务；其中，所述第二flink sql任务包括第一并行度、编写的所述sql脚本、及编写的配置参数；所述第一并行度通过对所述第一数据流图的可编辑的并行度的修改获得。2.如权利要求1所述的算子级别的并行度的设置方法，其特征在于，所述方法还包括：提供第二数据流图以供操作，其中，所述第二数据流图包括可编辑的并行度；所述第二数据流图为操作所述第一数据流图的可编辑的并行度后得到；根据所述第二flink sql任务的运行状态产生提示信息；其中，所述第二flink sql任务的运行状态从运行所述第二flink sql任务的服务器获得；向所述客户端发送第三flink sql任务；其中，所述第三flink sql任务包括第二并行度、编写的所述sql脚本、及编写的所述配置参数；所述第二并行度通过对所述第二数据流图的可编辑的并行度的修改获得。3.如权利要求1所述的算子级别的并行度的设置方法，其特征在于：所述第一flink sql任务为explain语句，所述执行计划通过执行所述explain语句生成。4.如权利要求1所述的算子级别的并行度的设置方法，其特征在于：若所述第一flink sql任务的脚本类型包括流处理脚本，所述执行计划中的节点的并行度参考值根据所述源端的分区大小和所述算子数据流量中的至少一项确定。5.如权利要求1所述的算子级别的并行度的设置方法，其特征在于：若所述第一flink sql任务的脚本类型包括批处理脚本，所述执行计划中的节点的并行度参考值根据所述源端的文件大小和所述算子数据流量中的至少一项确定。6.如权利要求1所述的算子级别的并行度的设置方法，其特征在于：所述第一并行度通过-op参数拼接到编写的所述sql脚本中以得到所述第二flink sql任务。7.一种算子级别的并行度的设置方法，应用于客户端上，所述方法包括：接收电子设备发送的第一flink sql任务；其中，所述第一flink sql任务包括编写的sql脚本；根据解析所述第一flink sql任务得到的脚本信息设定执行计划中的节点的并行度参考值生成目标执行计划；所述目标执行计划包括所述执行计划和所述并行度参考值；所述目标执行计划为json格式；所述并行度参考值为所述执行计划中的节点的并行度参考值；所述执行计划通过解析所述第一flink sql任务生成；所述脚本信息包括脚本类型、源端的分区大小、算子数据流量、及源端的文件大小中的至少二项；所述脚本类型包括流处理脚本和批处理脚本中的至少一项；发送所述目标执行计划到所述电子设备；接收所述电子设备发送的第二flink sql任务；其中，所述第二flink sql任务包括第一并行度、编写的所述sql脚本、及编写的配置参数；所述第一并行度通过对第一数据流图的可编辑的并行度的修改获得；所述第一数据流图通过解析json格式的所述目标执行计划得到；所述第一数据流图包括可编辑的并行度和节点的并行度参考值；根据所述第二flink sql任务重新生成任务以供提交到服务器。8.如权利要求7所述的算子级别的并行度的设置方法，其特征在于，所述方法还包括：接收所述电子设备发送的第三flink sql任务；其中，所述第三flink sql任务包括第二并行度、编写的所述sql脚本、及配置参数；所述第二并行度根据所述电子设备的提示信息通过对第二数据流图的可编辑的并行度的修改获得；所述提示信息根据所述第二flink sql任务的运行状态产生；所述第二flink sql任务的运行状态从运行所述第二flink sql任务生成的任务的所述服务器获得；所述第二数据流图为操作所述第一数据流图的可编辑的并行度后得到；根据所述第三flink sql任务重新生成任务以供提交到所述服务器。9.如权利要求7所述的算子级别的并行度的设置方法，其特征在于：所述第一flink sql任务为explain语句，所述执行计划通过执行所述explain语句生成。10.如权利要求7所述的算子级别的并行度的设置方法，其特征在于：若所述第一flink sql任务的脚本类型包括流处理脚本，根据所述源端的分区大小和所述算子数据流量中的至少一项设定所述执行计划中的节点的并行度参考值。11.如权利要求7所述的算子级别的并行度的设置方法，其特征在于：若所述第一flink sql任务的脚本类型包括批处理脚本，根据所述源端的文件大小和所述算子数据流量中的至少一项设定所述执行计划中的节点的并行度参考值。12.如权利要求7所述的算子级别的并行度的设置方法，其特征在于：所述第一并行度通过-op参数拼接到编写的所述sql脚本中以得到所述第二flink sql任务。13.一种电子设备，其特征在于，所述电子设备包括：收发单元，用于向客户端发送第一flink sql任务；其中，所述第一flink sql任务包括编写的sql脚本；所述收发单元，还用于接收所述客户端发送的包括执行计划和并行度参考值的目标执行计划，所述目标执行计划为json格式；所述并行度参考值为所述执行计划中的节点的并行度参考值；所述执行计划通过解析所述第一flink sql任务生成；所述执行计划中的节点的并行度参考值为根据解析所述第一flink sql任务得到的脚本信息确定；所述脚本信息包括脚本类型、源端的分区大小、算子数据流量、及源端的文件大小中的至少二项；所述脚本类型包括流处理脚本和批处理脚本中的至少一项；处理单元，用于通过解析json格式的所述目标执行计划提供第一数据流图以供操作，其中，所述第一数据流图包括可编辑的并行度和节点的并行度参考值；所述收发单元，还用于向所述客户端发送第二flink sql任务；其中，所述第二flink sql任务包括第一并行度、编写的所述sql脚本、及编写的配置参数；所述第一并行度通过对所述第一数据流图的可编辑的并行度的修改获得。14.一种客户端，其特征在于，所述客户端包括：收发单元，用于接收电子设备发送的第一flink sql任务；其中，所述第一flink sql任务包括编写的sql脚本；处理单元，用于根据解析所述第一flink sql任务得到的脚本信息设定执行计划中的节点的并行度参考值生成目标执行计划；所述目标执行计划包括所述执行计划和所述并行度参考值；所述目标执行计划为json格式；所述并行度参考值为所述执行计划中的节点的并行度参考值；所述执行计划通过解析所述第一flink sql任务生成；所述脚本信息包括脚本类型、源端的分区大小、算子数据流量、及源端的文件大小中的至少二项；所述脚本类型包括流处理脚本和批处理脚本中的至少一项；所述收发单元，还用于发送所述目标执行计划到所述电子设备；所述收发单元，还用于接收所述电子设备发送的第二flink sql任务；其中，所述第二flink sql任务包括第一并行度、编写的所述sql脚本、及编写的配置参数；所述第一并行度通过对第一数据流图的可编辑的并行度的修改获得；所述第一数据流图通过解析json格式的所述目标执行计划得到；所述第一数据流图包括可编辑的并行度和节点的并行度参考值；所述处理单元，还用于根据所述第二flink sql任务重新生成任务以供提交到服务器。15.一种电子设备，其特征在于，所述电子设备包括至少一个处理器、存储器和通信接口；所述至少一个处理器与所述存储器和所述通信接口耦合；所述存储器用于存储指令，所述处理器用于执行所述指令，所述通信接口用于在所述至少一个处理器的控制下与客户端进行通信；所述指令在被所述至少一个处理器执行时，使所述至少一个处理器执行如权利要求1至6中任意一项所述的算子级别的并行度的设置方法。16.一种客户端，其特征在于，所述客户端包括至少一个处理器、存储器和通信接口；所述至少一个处理器与所述存储器和所述通信接口耦合；所述存储器用于存储指令，所述处理器用于执行所述指令，所述通信接口用于在所述至少一个处理器的控制下与电子设备和服务器进行通信；所述指令在被所述至少一个处理器执行时，使所述至少一个处理器执行如权利要求7至12中任意一项所述的算子级别的并行度的设置方法。17.一种算子级别的并行度的设置系统，其特征在于，所述算子级别的并行度的设置系统包括电子设备、客户端和服务器；所述电子设备用于执行如权利要求1至6中任意一项所述的算子级别的并行度的设置方法，所述客户端用于执行如权利要求7至12中任意一项所述的算子级别的并行度的设置方法。18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序，所述程序使得计算机设备执行如权利要求1至12中任意一项所述的算子级别的并行度的设置方法。19.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机执行指令，所述计算机执行指令存储在计算机可读存储介质中；设备的至少一个处理器可以从所述计算机可读存储介质中读取所述计算机执行指令，所述至少一个处理器执行所述计算机执行指令使得所述设备执行如权利要求1至12中任意一项所述的算子级别的并行度的设置方法。 技术总结本申请公开了一种算子级别的并行度的设置方法及其装置，涉及数据处理领域，用于支持手动设置算子级别的并行度。所述方法包括：向客户端发送第一Flink SQL任务；接收客户端发送的包括执行计划和并行度参考值的目标执行计划，目标执行计划为json格式；并行度参考值为执行计划中的节点的并行度参考值；执行计划通过解析第一Flink SQL任务生成；执行计划中的节点的并行度参考值为根据解析第一Flink SQL任务得到的脚本信息确定；通过解析目标执行计划提供第一数据流图；向客户端发送第二Flink SQL任务；其中，第二FlinkSQL任务包括第一并行度、所述SQL脚本、及编写的配置参数；第一并行度通过对第一数据流图的可编辑的并行度的修改获得。度的修改获得。度的修改获得。 技术研发人员：孟梁 夏宇受保护的技术使用者：花瓣云科技有限公司技术研发日：2021.08.27技术公布日：2023/3/2
|